eigenvalues of 3x3 matrix